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Pruf ungsantrag gem. 5 44 PatG ist gestellt 

@ Vorrichtung zum Fugen von Elementen in entsprechende Aufnahmeelemente eines Objekts 

Beschrieben wird eine Vorrichtung zum Fugen von Ele- 
menten in Aufnahmeelemente eines Objekts, deren Lage 
und Grd&e in drei Dimensionen innerhalb bestimmter Erwar- 
tungsbereiche variabel ist, mittels einer mehrachsigen 
Handhabungseinrichtung, deren Bewegung eine Steuerein- 
heit steuert. 

Die erfindungsgema&e Vorrichtung zeichnet sich durch die 
Kombination folgender Merkmale aus: 
• zwei elektronische Kameras sind derart angeordnet, daB 
ihr Abstand groSer als die Abmessung des Erwartungsbe- 
reichs in Richtung derVerbindungslinie der Kameras ist, und 
daB sie den gesamten Erwartungsbereich unter einem Win- 
kel erfassen, 

- die Ausgangssignale der beiden Kameras sind an eine 
" Bildauswerteeinheit angelegt, die die Ausgangssignale in 

ein digitales Bild zur Erfassung der Kontur der Aufnahme- 
elemente umwandelt, 

- die Steuereinheit extr8hiert aus den 2"2D-Objektdaten 
zweidimensionalen Daten signifikanter Konturmerkmaie 
und berechnet aus diesen Daten die dreidimensionale Posi- 
tion der signifikanten Konturmerkmaie und steuert entspre- 
chend die Handhabungseinrichtung. 
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Beschreibung reits einleitend ausgefuhrt — fur beliebige Fugevorgan- 

ge, beispielsweise zum selbsttaugen Ansetzen von Ab- 

Die Erfindung bezieht sich auf eine Vorrichtung zum gasschlauchen an die Auspuffrohre von Kraftfahrzeu- 

Fugen von Elementen in Aufnahmeelemente eines Ob- gen verwendet werden. Besonders vorteilhaft kann die 

jekts, deren Lage und GrfiBe in drei Dimensionen inner- 5 erfindungsgemaBe Vorrichtung jedoch in automati- 

halb bestimmter Erwartungsbereiche variabel ist, ge- schen Melkstanden verwendet werden, urn seibsttatig 

mafi dem Oberbegrif f des Patentanspruchs 1 . die Melkbecher an die Euter einer im Melkstand befind- 

Bei der Automatisierung von Fugevorgangen besteht lichen Kuh anzusetzen. Es ist namlich aus einer Reihe 

haufig das Problem, daB weder die Lage noch die ge- von Grunden wiinschenswert, den Melkvorgang zu au- 

naue GroBe der Aufnahmeelemente in bzw. an die zu 10 tomatisieren, da haufiges Melken der Kiihe sich zwar 

fiigenden Elemente gefugt werden solien, genau be- positiv auf die Eutergesundheit und die Milchqualitat 

kannt sind. In der Regel ist es vielmehr so, daB die Lage auswirkt, jedoch sehr personal in tensiv ist und so den 

und/oder die GroBe der Aufnahmeelemente innerhalb Milchpreis erhoht. 

bestimmter Bereiche von Objekt zu Objekt unter- Bei der Verwendung der erfindungsgemaBen Vor- 

schiedlich sind bzw.Toleranzen aufweisen. 15 richtung zum automatischen Ansetzen der Melkbecher 

Beispielsweise bei der Automatisierung von Melkvor- an die Euter von Kuhen sind bevorzugt die beiden Ka- 

gangen stellt sich das Problem, daB nicht nur die GroBe meras derart angeordnet, daB sie die zu melkende Kuh 

und die jeweilige Stellung der verschiedenen Kiihe in frontal aufnehmen. Als signifikantes IConturmerkmal 

den Melkstanden unterschiedlich ist, sondern daB dar- werden die Zitzenspitzen herangezogen, da die Zitzen- 

uberhinaus auch noch die Form und die GroBe der Eu- 20 spitzen unabhangig von der tatsachlichen GroBe und 

ter schwanken. Form des Euters leicht beispielsweise durch Vergleich 

Der Erfindung liegt die Aufgabe zugrunde, eine Vor- des digitalen Ausgangssignals mit einem fiir Zitzenspit- 

richtung zum Fugen von Elementen in entsprechende zen typischen Ausgangssignal identifiziert werden kon- 

Aufnahmeelemente eines Objekts, deren Lage und Gro- nen. 

Be in drei Dimensionen innerhalb bestimmter Erwar- 25 Als Kameras konnen beliebige Kameras, beispiels- 

tungsbereiche variabel ist, derart weiterzubilden, daB weise Fernsehkameras verwendet werden. Im Falle der 

der Fugevorgang auch bei unterschiedlicher Lage und im Anspruch 3 gekennzeichneten bevorzugten Verwen- 

GrdBe der Aufnahmeelemente sicher durchgefiihrt wer- dung der erfindungsgemaBen Vorrichtung konnen dar- 

den kann. uberhinaus auch Warmebildkameras (Anspruch 4) ein- 

Eine erfindungsgemaBe Losung dieser Aufgabe ist 30 gesetzt werden, die sich besonders zum Aufnehmen der 

mit ihren Weiterbildungen in den Patentanspruchen ge- Euter eignen. 

kennzeichneL In jedem Falle ist es jedoch vorteilhaft, wenn eine 

Die Erfindung basiert auf dem Grundgedanken, daB zusatzliche Beleuchtungseinrichtung vorgesehen ist, die 

mittels zweier elektronischer Kameras, beispielsweise bevorzugt gemaB Anspruch 5 als Auflicht-Quelle ausge- 

zweier Fernsehkameras eine stereoskopische Aufnah- 35 bildetist 

me des Erwartungsbereichs fur die Lage der Aufnahme- Im Falle eines sich bewegenden Objekts, wie bei- 

elemente durchgefuhrt wird. Aus den Ausgangssignalen spielsweise einer Kuh, kann es — urn Verwischungsef- 

dieser Kameras wird ein digitales Bild, beispielsweise fekte oder dgl. zu vermeiden — vorteilhaft sein, wenn 

ein Binarbild, d. h. eine reines schwarz/weiB-Bild (An- daruberhinaus die Beleuchtungseinrichtung in Art einer 

spruch 8) gewonnen, aus dem wiederum signifikante 40 Stroboskop-Lichtquelle ausgebildet ist (Anspruch 6), da 

Konturmerkmale der Aufnahmeelemente, an bzw. in die dann Bewegungsunscharfen etc. sicher vermieden wer- 

zu fiigenden Elemente gefugt werden sollen, extrahiert dea 

wird. Aus der Lage dieser signifikanten Konturmerkma- Durch die erfindungsgemaBe Vorrichtung wird eine 

le im Aufnahmebereich der jeweiligen Kamera sowie hohe Positioniergenauigkeit erreichL Die erreichbare 

der (vorgegebenen) Orientierung der beiden Kameras 45 Positioniergenauigkeit kann jedoch unter Umstanden 

zueinander ist es dann moglich, die Koordinaten des bei bestimmten Anwendungsfallen noch nicht genugen. 

Aufnahmeelements im Erwartungsbereich zu bestim- Deshalb ist es gemaB Anspruch 7 von Vorteil, wenn im 

men. Entsprechend dieser Koordinatenbestimmung er- Bereich des zu fiigenden Objekts ein zusatzlicher Sen- 

folgt dann die Steuerung der Mehrachsigen Handha- sor, der wiederum eine el ektronische Kamera, aber auch 

bungseinrichtung, also beispielsweise eines handelsiibli- 50 ein Magnetfeldsensor etc. sein kann, vorgesehen ist, der 

chen lndustrieroboters. das Aufnahmeelement erfaBt und dessen Ausgangssi- 

Weiterbildungen der Erfindung sind in den Unteran- gnal zur Feinkorrektur der Positionierung der Handha- 

spriichen angegeben. bungseinrichtung dient 

ErfindungsgemaB ist weiterhin erkannt worden, daB Die Erfindung wird nachstehend anhand eines Aus- 
es fur eine genaue Absolutbestimmung der Koordinaten 55 fiihrungsbeispieis unter Bezugnahme auf die Zeichnung 

erforderlich ist, die Abbildungsverlaufe der eingesetzten naher beschrieben, in der zeigen: 

Kameras zu kennen. Dabei ist uberraschender Weise Fig. 1 eine erfindungsgemaBe Vorrichtung bei Ver- 

erfindungsgemaB festgestellt worden, daB die auch bei wendung in einem automatisierten Melkstand, 

typgleichen Kameramodellen auftretenden geringen Fig. 2 eine schematische Darstellung zur Erlauterung 
Herstelltoleranzen aufgrund der Verwendung einer ste- 60 der Bestimmung der Koordinaten eines signifikanten 

reoskopischen Bestimmung der Lage der Aufnahmeele- Konturmerkmals. 

mente einen groBen EinfluB auf den Absolutfehler der Fig. 1 zeigt schematisch die Anordnung der Bildebe- 

Koordinatenbestimmung haben. Deshalb erfolgt erfin- nen B t und B2 der erfindungsgemaB verwendeten Ka- 

dungsgemaB eine Kalibrierung der eingesetzten Kame- meras in bezug auf die Euter 1 bis 4 einer Kuh in einem 
ras, um individuell fiir jede Kamera den Abstand zwi- 65 automatisierten Melkstand Dabei ist mit einem Pfeil 5 

schen Projektionszentrum und Biidebene sowie die die Bewegungsrichtung der Kuh beim Eintreten in den 

Raumorientierung des Kamerasystems zu bestimmen. Melkstand bezeichnet 

Die erfindungsgemaBe Vorrichtung kann — wie be- Im Bereich der Bildebenen 51 und B2 ist schema- 
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tisch das Signal angedeutet, das die Kontur der Euter 1 
bis 4 auf den Sensoren der*Kamera angibt. Als signifi- 
cant eTeilgeometrie eines Euters kann der Konturver- 
lauf und das untere Ende (Zitzenspitze) verwendet wer- 
den. Die raumliche Lage dieser Teilgeometrie stellt die 
SteuergrdBe fur das Ansetzen des Melkbechers dar. 

Dm nun die Zttzenlage aus dem gesamten, mit ande- 
rer Information iiberlagerten Videobild zu extrahieren, 
wird zunachst ein digitales Bild, das beispielsweise ein 
Binarbild (reines Sen warz-WeiB- Bild), aber auch ein 
Grauwertbild sein kann, erzeugt und aus diesem Bild die 
auf den Sensor der Kamera projezierte Euter-Auflen- 
kontur extrahiert 

Aus diesen Konturdaten werden mittels Bildver- 
gleichs-Operationen die Zitzenspitzen extrahiert. Durch 
Bewerten der beiden stereooptischen Abbildungen lie- 
gen dam it zwei zweidimensionale, reduzierte Datensat- 
ze bezOglich der Eutergeometrie vor. 

Die Bestimmung der dreidimensionalen Koordinaten 
wird im folgenden anhand von Fig. 2 eriautert Hierzu 
wird zunachst ein Koordinatensystem 0\-X\-Y\-Z\ der 
Bildebene B 1 der ersten Kamera zugeordnet. 

Die Zi-Achse ist gleichzeitig die optische Achse der 
Kamerai. Analog wird das Koordinatensystem 
Or- Xt YttZ* der Bildebene der Kamera] zugewiesen. 

In dem vorgegebenen Koordinatensystem O— A'— 
y—Z sind aufgrund von vorher durchgefiihrten Kali- 
briervorgangen die Lage der beiden Kameras und ihre 
innere Orientierung bekannt Es seien: 

Wxu Wyu Wz\ » die Drehwinkel des Koordinatensy- 
stems Oj— X\ — Kj— Z\ um die A'—K—Z- Achse des 
Koordinatensystems O—X— Y—Z 
Wx2, Wyi t Wz2 « die Drehwinkel des Koordinatensy- 
stems O2—X2— Y2—Z2 um die X\ — Y\— Zi-Achse des 
Koordinatensystems Ox — X\ — Y\ —Z\ 

Aus den einzelnen Winkeln der Drehungen um die 
Koordinatenachsen von O—X— Y— Z konnen die ent- 
sprechenden einzelnen Transformationsmatrizen be- 
stimmt werden. Es ergibt sich aus 



Wx x 
Wy x 

Wx 2 
Wy 2 
Wz 2 



> AXi 

> Ayi 

> Az\ 

> Ax 2 

> Ay 7 

> Az 2 



Die Transformationsmatrix Ai zur Transformation 
der Koordinaten vom Koordinatensystem 
Ox-X\-Y x -Z\ zu O-X-Y-Z und die A 2 von 
O2-X2- Y2-Z2 zu Oi-Xi-Yt-Zi werde wie fol- 
gend defintert: 

P(x,y t z) = A*Pfx u yt.zO + 0\(x,y,z) 
P(xuyuz x )= A*Pfx 2 ,y 2t z 2 ) + 02(x u y u z l ) 

ErfindungsgemaB wird nun ein Punkt P 2 im Koordi- 
natensystem ft— X 2 — Y 2 — Z 2 ausgesucht Zusammen 
mit dem Projektionszentrum H 2 werden dessen Koordi- 
naten in das Koordinatensystem Oi— X\— VI — Z\ 
transformiert: 

Pifruyu z\) « A 2 * Pifayit z 2 ) + Oi(x\ t y x% z\) 
H 2 (xi , y, , z x ) - A 2 * H 2 (x 2l y 2% z 2 ) + Oi(x x t y u z\) 

Aus geometrischen Grunden muB das Bild von P\ 



eines raumlichen Punktes entsprechend /^.gleichzeitig 
auf zwei Ebenen liegen. Eine dieser Ebenen wird von 
den drei Punkten Hi, Hi und P 2 bestimmt, wobei gilt: 

und die andere wird von den Achsen Oi— X\ und 
0\ — Y\ bestimmt, wobei gilt 

10 Zi - 0 

Diese Gleichungen definieren eine Gerade auf der 
Bildebene der Kamerai. Somit kann Punkt Pi ermittelt 
werden. 

15 Aus den Ergebnissen der Punkte P2 und P\ wird ein 
raumlicher Punkt Pdefiniert Die Bedingungen sind: 
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0\ P — 0\ H 2 + A2 * H 2 P 2 

Die Koeffizienten Aj sowie X 2 (X 2 ist nicht zwingend 
notig) konnen durch die Gleichungen 

Tc • (DJZ + Aj • 77[p,) - k (TJiUi + A 2 • 757$) 



mit 

1-(UJT\ + A, - 77^) - ? - (ZTO + h • TWt) 

30 oder mit 

)* * (PJJi + Ai - 77^) - j - (UJT 2 + A 2 • 

ermittelt werden. 
35 Hier sind /, j und Tc die Einheitsvektoren der Achsen 
des Koordinatensystems 0i — X\— Vj— Zi. Mit Hilfe 
der Matrix A\ konnen somit die Koordinaten des raum- 
lichen Punktes P 

40 P(x,y,z)= A\ - Pfxuyuzx) 

bezuglich des Koordinatensystems X— Y— Z be- 
rechnet werden. 

Die vorstehend beschriebenen Vorgange werden von 

45 der Steuereinheit ausgefuhrt, so daB aus den stereosko- 
pischen Bildern die raumlichen Koordinaten der Zitze 
von der Steuereinheit ermittelt und entsprechend die 
Handhabungseinrichtung, beispielsweise ein handelsub- 
licher, nicht dargestellter Industriebroboter gesteuert 

50 wird. 

Vorstehend ist die Erfindung anhand eines Ausfuh- 
rungsbeispiels ohne Beschrankung des allgemeinen Er- 
f indungsgedankens beschrieben worden. 
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Patentanspruche 

1. Vorrichtung zum Fiigen von Elementen in Auf- 
nahmeelemente eines Objekts, deren Lage und 
Grofie in drei Dimensionen innerhalb bestimmter 
Erwartungsbereiche variabel ist, mittels einer 
mehrachsigen Handhabungseinrichtung, deren Be- 
wegung eine Steuereinheit steuert, gekennzeich- 
net durch die Kombination folgender Merkmale: 
— zwei elektronische Kameras sind derart an- 
geordnet, daB ihr Abstand groBer als die Ab- 
messung des Erwartungsbereichs in Richtung 
der Verbindungslinie der Kameras ist, und daB 
sie den gesamten Erwartungsbereich unter ei- 
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nem Winkel erfassen, 

— die Ausgangssignale der beiden Kameras 
sind an eine Bildauswerteeinheit angelegt, die 
die Ausgangssignaie in ein digitaies Biid zur 
Erfassung der Kontur der Aufnahmeelemente 5 
umwandelt, 

— die Steuereinheit extrahiert aus den D-Ob- 
jektdaten 2-dimensionalen Daten signifikanter 
Konturmerkmale und berechnet aus diesen 
Daten die 3-dimensionale Position der signifi- 10 
kanten Konturmerkmale und steuert entspre- 
chend die Handhabungseinrichtung. 

2. Vorrichtung Anspruch 1, dadurch gekennzeich- 
net, dafl die Kameras individuell hinsichtlich Ver- 

groBerungsfaktor und Raumorientierung kalibriert 15 
sind. 

3. Vorrichtung nach Anspruch 1 oder 2 zum Anset- 
zen von Meikbechern an Kuheuter insbesondere in 
automatischen Melkstanden, dadurch gekennzeich- 
net, daB die beiden Kameras die Kuh frontal von 20 
vorne aufnehmen, und daB das signifikante Kontur- 
merkmal die Zitzenspitze und die Zitzenorientie- 
rung ist 

4. Vorrichtung nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, daB die elektronischen 25 
Kameras Warmebiidkameras sind. 

5. Vorrichtung nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, daB eine als Auflicht- 
Quelie ausgebildete geregelte Beleuchtungsein- 
richtung vorgesehen ist 30 

6. Vorrichtung nach Anspruch 5, dadurch gekenn- 
zeichnet, daB die Beleuchtungseinrichtung in Art 

eine Infrarot-Stroboskop-Lichtquelle ausgebildet 
ist. 

7. Vorrichtung nach einem der Anspruche 1 bis 6, 35 
dadurch gekennzeichnet, daB angrenzend an das zu 
fugende Element ein weiterer Sensor vorgesehen 
ist, der das Aufnahmeelement erfaflt und dessen 
Ausgangssignal zur Feinkorrektur der Position 
dient. 40 

8. Vorrichtung nach einem der Anspruche 1 bis 7, 
dadurch gekennzeichnet, daB das digitale Bild ein 
Binarbild oder ein Grauwertbild ist 
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